谅急命大将赵子开率十几万大军，火速南下据守高壁（今山西灵石县南），连营五十里，在朝廷军面前筑起了一道铜墙铁壁。

    杨素率军抵达后，马上命诸将从正面攻击汉军，然后亲率一支精锐，攀越悬崖峭壁，神不知鬼不觉地绕到了汉军大营的后方。

    由于汉军兵力强大，杨素麾下将士多有怯战之心。为了激励士气，杨素便拿出了他的杀手锏，故意命部队扎营，然后让副手挑选三百人守营，其他人随他一起进攻。大家一听有守营名额，纷纷拼抢，很快就有三百个兵油子抢到了名额。那些没抢到的人当然不服，于是整个兵营吵吵嚷嚷，乱成一团。

    杨素早料到会有这个场面，便把副手叫进来，诘问外面发生了什么事。副手据实禀报，杨素一声冷笑，命副手将刚才抢到名额的那三百个人就地斩首。

    当三百颗脑袋全都睁着双眼滚成一堆的时候，杨素便集合部队，对着部众高声问：还有谁想留守？

    这一次，他得到的回答当然是一片沉默。

    杨素再问有谁愿意出战，然后就听到了所有人异口同声的一声回答：我！

    杨素无声一笑，随即大手一挥，全军立刻像一支离弦之箭，直插汉军后背。

    赵子开及其部众万万没料到朝廷军会从后面杀过来。就在他们愣神的间隙，五十里大营已经到处燃起火焰，而且四周响彻隆隆的战鼓声。汉军一下子崩溃了，人人争相逃命，人马互相践踏，彻底失去了抵抗力。杨素旋即与诸将南北夹击，斩杀了数万汉军。其他侥幸未死的汉军全部逃散。

    杨谅得知赵子开的十几万大军竟然一战而溃，大为恐惧，但是为了避免被包围的命运，还是硬着头皮，亲率最后的十万大军南下，在蒿泽（今山西汾阳市北）列阵抵御。

    人在倒霉的时候，喝凉水都塞牙。杨谅刚刚带着部队进入战斗位置，老天就开始下雨了，还连着下了几天几夜，直把汉军上下都淋成了落汤鸡。杨谅大为沮丧，准备撤退休整。当初力劝杨谅起兵的王頍，料定汉军这一退，士气必定更为削弱，遂力阻撤兵：“杨素孤军深入，士马疲敝，大王亲率精锐士卒迎战，其势必胜。如今一看到敌人便自行撤退，不但示敌以怯，而且会令军心沮丧，更增加敌军的气焰，望大王三思，万万不可撤兵。”杨谅不听，当即把部队撤回了清源（今山西清徐县）。王頍情知大势已去，就暗暗叮嘱他儿子：“事情不妙，我军必败，你一定要跟紧我。”王頍话音刚落，杨素大军就已开始攻击清源。汉军士气低落，几乎无法组织像样的防御，杨谅不得不再次后撤，退保老巢并州。

    然而，清源守不住，并州照样不保。当杨素大军将并州城团团围困时，杨谅终于绝望了，遂打开城门向杨素投降。

    王頍知道自己一旦落到杨素手里，肯定会死得很难看，便带着他儿子偷偷出逃，准备投奔突厥。但是，此时并州四面的所有道路均已被朝廷军封锁，王頍父子插翅难飞。最后，王頍对他儿子说：“我的谋略不亚于杨素，只因建言不被采纳，才落到今天这个地步。我绝不能束手就擒，让小人得志。我死之后，你千万不要投奔亲戚朋友。”说完当场自杀。

    王頍之子东躲西藏，饿了好几天，最后实在忍不住，只好投奔亲戚朋友，旋即被告发，然后押赴并州斩首，连同王頍的尸首一起被枭首示众。

    杨谅从起兵到投降，前后还不到两个月。

    杨素班师凯旋，将杨谅押回了长安。满朝文武纷纷上奏，要求将杨谅斩首。杨广心里当然也恨不得杨谅早点死，不过他现在已经是天子了，总要表现出一点宽容的姿态。于是，杨广便用一种极度伤感的口吻对群臣说：“朕现在只剩下两个兄弟了，心中实在不忍，就让朕违背一次国法，恕他一死吧。”随后，杨广将杨谅废为庶民，开除了他的皇族属籍，并将其软禁。

    死罪虽免，但杨谅这么活着，实际上比死还惨。没过多久，杨谅就一命呜呼了。至于他到底是抑郁而终，还是被杨广下了毒手，那就没人知道了。

    至此，杨广四个同父同母的兄弟已经有三个不得善终，剩下最后一个杨秀虽然还苟活于世，但长期遭到软禁，已经生不如死，形同废人。

    当年，隋文帝杨坚曾经不无自豪地对群臣说：“前朝的天子们，大多沉溺情欲，宠幸姬妾，致使嫡子与庶子为了继承权而争斗不止，所以才有废立太子之事，以致国家危亡。朕别无姬妾，五子同母，可谓真兄弟也，怎么会有这方面的担忧呢？！”然而，就是这五个一母同胞的“真兄弟”，却上演了一幕幕骨肉相残的悲剧，这对于因“五子同母”而引以为豪的杨坚来讲，无疑是一个绝妙而无情的讽刺。